elasticsearch ingest processor補充

前言

補充ingest 的 processor

正文

上篇提到,正常要等ILM跑完後,所設定的default_pipeline才會寫入。
但今天是可以提早讓他跑ILM,這樣就會把預設的default_pipeline寫進去了。

而只要在default_pipeline 設定好,後續再改pipeline的設定時,都會直接影響當下的設定。

  1. 在index template設定pipeline
    90-fig.10.jpg
  2. 到 Devtools 執行下面指令
    強制datastream執行ILM
POST /filebeat-8.1.0/_rollover

ref.
- DataStream
- Elasticsearch 7.X data stream 深入詳解

ingest 補充

processor分成好幾個類型

上一篇是使用grok(這個是使用正則去篩選字串),
有人建議使用Dissect,速度比grok快,但只適用於有固定分隔字串的message。

下面簡單敘述用途,詳細就點連結過去看了。

  foo.bar :value
  foo : { 
	bar: value
  }